Celery 및 Django와 함께 RabbitMQ를 EC2 인스턴스에서 수행하여 매우 기본적인 백그라운드 처리를 수행하려고합니다. 대규모 EC2 인스턴스에서 rabbitmq-server 2.5.0을 실행하고 있습니다. 여기 지침에 따라 테스트 클라이언트를 다운로드하여 설치했습니다 (페이지 맨 아래). 나는 단지 테스트 스크립트를 놓아두고 예상되는 출력을 얻고 있습니다. 수신 속도 : 2350 msg / s, 최소 / 평균 / 최대 지연 시간 : 588078478/588352905/588588968 마이크로 초 수신 속도 : 1844 msg / s, 최소 / 평균 / 최대 지연 시간 : 588589350/588845737/589195341 마이크로 초 수신 속도 : 1562 msg / s, 최소 / 평균 / 최대 지연 시간 : 589182735/589571192/589959071 마이크로 초 수신 속도 : 2080 msg / s, 최소 / 평균 / 최대 대기 시간 : 589959557/590284302/590679611 마이크로 초 문제는 엄청난 양의 CPU를 소비한다는 것입니다. PID USER PR NI VIRT RES SHR S % CPU % MEM TIME + COMMAND 668 rabbitmq 20 0618m 506m 2340 S 166 6.8 2 : 31.53 beam.smp 1301 우분투 20 0 2142m 90m 9128 S 17 1.2 0 : 24.75 자바 이전에 마이크로 인스턴스에서 테스트하고 있었고 인스턴스의 모든 리소스를 완전히 소비했습니다. 이것이 예상됩니까? 내가 뭘 잘못하고 있니? 감사. 편집하다: 이 게시물의 실제 이유는 celerybeat가 잠시 동안 정상적으로 실행 된 다음 갑자기 시스템의 모든 리소스를 소비하는 것처럼 보였기 때문입니다. rabbitmq 관리 도구를 설치하고 셀러리와 rabbitmq 테스트 스위트에서 큐를 만드는 방법을 조사했습니다. 셀러리가 이러한 대기열을 고아로 만들고 사라지지 않는 것 같습니다. 다음은 테스트 스위트에서 생성 한 대기열입니다. 하나의 대기열이 생성되고 모든 메시지가 여기로 들어가서 나옵니다. Celerybeat는 작업을 실행할 때마다 새 대기열을 만듭니다. 자동 삭제 매개 변수를 true로 설정하지만 이러한 대기열이 언제 삭제 될지 확실하지 않습니다. 그들은 천천히 쌓아 올려 자원을 먹는 것 같습니다. 누구나 아이디어가 있습니까? 감사.
2021-01-29 08:17:37
좋아, 알아 냈어. 관련 문서는 다음과 같습니다. http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend 이전 결과는 자동으로 정리되지 않으므로 결과를 사용하는지 확인해야합니다. 그렇지 않으면 대기열 수가 결국 제어 할 수 없게됩니다. RabbitMQ 2.1.1 이상을 실행하는 경우 대기열에 대한 x-expires 인수를 활용할 수 있습니다. 대기열이 사용되지 않은 후 특정 시간 제한이 지나면 만료됩니다. 대기열 만료는 CELERY_AMQP_TASK_RESULT_EXPIRES 설정 (기본적으로 활성화되지 않음)으로 설정할 수 있습니다 (초). | 자신의 문제에 대한 Eric Conner의 솔루션에 추가하기 위해 http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices는 다음과 같이 설명합니다. 원하지 않는 결과 무시 작업 결과에 신경 쓰지 않는 경우 결과를 저장하면 시간과 리소스가 낭비되므로 ignore_result 옵션을 설정해야합니다. @ app.task (ignore_result = True) def mytask (…) : 어떤 것() CELERY_IGNORE_RESULT 설정을 사용하여 결과를 전역 적으로 비활성화 할 수도 있습니다. Eric의 대답과 함께 결과 백엔드를 관리하기위한 최소한의 모범 사례 일 것입니다. 결과 백엔드가 필요하지 않은 경우 CELERY_IGNORE_RESULT를 설정하거나 결과 백엔드를 전혀 설정하지 마십시오. 결과 백엔드가 필요한 경우 CELERY_AMQP_TASK_RESULT_EXPIRES를 사용하지 않는 결과가 쌓이지 않도록 보호하도록 설정하십시오. 특정 앱에 필요하지 않은 경우 위와 같이 로컬 무시를 설정하십시오. | 너의 답 StackExchange.ifUsing ( "editor", function () { StackExchange.using ( "externalEditor", function () { StackExchange.using ( "snippets", function () { StackExchange.snippets.init (); }); }); }, "코드 스 니펫"); StackExchange.ready (function () { var channelOptions = { 태그 : "".split ( ""), id : "1" }; initTagRenderer ( "". split ( ""), "".split ( ""), channelOptions); StackExchange.using ( "externalEditor", function () { // 스 니펫이 활성화 된 경우 스 니펫 후에 편집기를 실행해야합니다. if (StackExchange.settings.snippets.snippetsEnabled) { StackExchange.using ( "snippets", function () { createEditor (); }); } else { createEditor (); } }); function createEditor () { StackExchange.prepareEditor ({ useStacksEditor : false, heartbeatType : '답변', autoActivateHeartbeat : false, convertImagesToLinks : true, noModals : true, showLowRepImageUploadWarning : true, scoreToPostImages : 10, bindNavPrevention : true, 접미사 : "", imageUploader : { brandingHtml : "Powered by \ u003ca href = \"https : //imgur.com/ \ "\ u003e \ u003csvg class = \"svg-icon \ "width = \"50 \ "height = \"18 \ "viewBox = \ "0 0 50 18 \"fill = \ "none \"xmlns = \ "http : //www.w3.org/2000/svg \"\ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.6931182C47.4335 4.61182 46.7256 4.52513.6307884.65959531 43.5251. 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \"M32.492 10.1419C32.492 12.697954 34.104182 14.0484 37.0451 14.0484 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455C35.8209 11.5455 35.4954 10.8 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \"evenodd \ "clip-rule = \"evenodd \ "d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.66231C28.9913 4.66231 4.66231C28.9913 4.66231 285.733.4555 4.9456023 28.1109 5.50756087 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.7799 28.121 12.8346C28.1256 12.8854 28.1301 12.9839342 15.1301 25. 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.628335ZM24.1317 9.27932C24.1317 7.94324 7.0932C24.1317 7.94324 7.0932C24.1317 7.94324 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \"M16.809.345 11.9512C16.8045 13.8962 17.2637 13.8962 13.2962 17.2637 13.8962 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.9328 8.510506 4.9932 7.9466 5.785066.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.58817 14.3365 6.9410817 6.4269 6.91179C16.40279 16.91179. 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291Z \ uB = 채우기 \ u003e \ u003 c / a \ u003e ", contentPolicyHtml :“\ u003ca href =”https : //stackoverflow.com/help/licensing“\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =”https://stackoverflow.com / legal / 콘텐츠 정책 \ "\ u003e (콘텐츠 정책) \ u003c / a \ u003e", allowUrls : true }, onDemand : true, 폐기 선택기 : ".discard-answer" , immediatelyShowMarkdownHelp : true, enableTables : true, enableSnippets : true }); } }); Stack Overflow에 대한 답변에 기여해 주셔서 감사합니다! 질문에 반드시 답해주십시오. 세부 사항을 제공하고 연구를 공유하십시오! 하지만 피하세요 ... 도움, 설명을 요청하거나 다른 답변에 응답합니다. 의견에 따라 진술하기 참고 자료 또는 개인적인 경험으로 백업하십시오. 자세한 내용은 훌륭한 답변 작성에 대한 팁을 참조하십시오. 초안 저장 초안이 삭제되었습니다. 가입 또는 로그인 StackExchange.ready (함수 () { StackExchange.helpers.onClickDraftSave ( '# 로그인 링크'); }); Google을 사용하여 가입 Facebook을 사용하여 가입 이메일 및 비밀번호를 사용하여 가입 제출 게스트로 게시 이름 이메일 필수이지만 표시되지 않음 StackExchange.ready ( 함수 () { StackExchange.openid.initPostLogin ( '. New-post-login', 'https % 3a % 2f % 2fstackoverflow.com % 2fquestions % 2f6362829 % 2frabbitmq-on-ec2-consuming-tons-of-cpu % 23new-answer', ' question_page '); } ); 게스트로 게시 이름 이메일 필수이지만 표시되지 않음 답변 게시 포기 "답변 게시"를 클릭하면 서비스 약관, 개인 정보 보호 정책 및 쿠키 정책에 동의하게됩니다. 찾고있는 답변이 아닙니까? django rabbitmq celery 태그가 붙은 다른 질문을 찾아 보거나 직접 질문하십시오.